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摘要 : 神经 科学 对 人 工 智能 有 很 大 的 启发 作用 ,通过 借鉴 上 述 学 科 的 研究 成 果 , 我 们 设计 了 
一 种 新 的 人 工 神经 网 络 来 对 人 脑 内 的 杏仁 核 进行 模拟 。 人工 神经 网 络 包 含 长 时 记忆 网 络 和 激 
舌 网 络 两 个 部 分 , 记忆 网 络 记录 了 发 送信 号 和 接收 信号 的 神经 元 以 及 二 者 之 间 的 权重 , 激活 
网 络 则 记录 了 发 送信 号 和 接收 信号 的 神经 元 及 其 信号 发 送 的 时 间 点 。 激 活 网 络 仪 保留 了 事件 
发 生 时 的 一 小 段 记忆 ， 并 会 根据 设 定 好 的 规则 修改 长 时 记忆 网 络 中 的 权重 。 利 用 此 类 方法 ， 
我 们 成 功 地 让 智能 体 拥 有 了 狼 惧 情绪 学 习 和 经 典 条 件 反射 式 学 习 的 能 力 , 这 与 生物 体内 杏仁 
核 的 能 力 非常 类 似 。 
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Using a new brain-like artificial neural network to 


realize fear learning and classical conditioning 


Abstract: Neuroscience have great inspiration for artificial intelligence. By drawing on the 
research results of these disciplines, we designed a new artificial neural network to simulate the 
amygdala in human brain. The neural network consists of two parts, a long-term memory network 
and a activation network. The memory network records the neurons sending and receiving signals 
and the weight between them, while the activation network records the neurons sending and 
receiving signals and the time point when the signals were sent. The activation network retains 
only a short time memory of the event and modifies the weights in the long-term memory network 
according to the set rules. Using this approach, we have successfully endows the agent the ability 
of fear emotion learning and classical conditioning learning, which is very similar to the ability of 


amygdala. 
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人 类 的 大 脑 大 约 有 860 亿 个 神经 元 “， 每 个 神经 元 都 做 着 简单 的 工作 : 接收 
信息 ; 按照 简单 的 规则 作出 “决定 ” 将 信息 发 送出 去 。 但 正 是 由 这 些 简单 的 神经 
元 组 成 的 神经 网 络 让 人 类 拥有 了 多 种 能 力 ， 例 如 情感 、 创 造 力 、 语 言 和 思维 等 。 
其 


在 人 工 智能 的 研究 中 , 构建 一 个 与 生物 神经 元 类 似 的 人 工 神经 元 模型 ， 并 将 
其 组 成 人 工 神经 网 络 (artificial neural networks, ANNs), 用 其 实现 智能 是 一 个 重 
要 的 方 同 。 最早 尝试 在 计算 机 上 模拟 生物 神经 元 的 是 神经 科学 家 麦 卡 洛克 和 数学 
家 皮 效 ,， 他 们 在 1943 年 提出 了 人 工 神经 元 最 初 的 模型 中 (MP 模型 )，MP 模型 
及 其 随后 的 不 同 种 类 改进 型 1 模拟 了 生物 神经 元 很 多 重要 的 特点 ， 例 如 神经 元 
可 以 接收 和 发 送信 号 、 信 和 号 会 受到 神经 元 之 间 联 结 强度 的 影响 、 联 结 强度 可 以 改 
变 等 。 但 在 关于 神经 元 之 间 的 联结 是 如 何 改变 的 问题 上 ， 人 工 神 经 网 络 却 与 生物 
神经 网 络 有 着 很 大 的 区 别 ， 在 人 工 神 经 网 络 〈 监 督学 习 类 ) 中 ， 权 重 改变 的 方向 
是 降低 预测 值 与 真实 结果 的 之 间 误 差 钻 ,这 种 算法 与 时 间 无 关 。 但 在 生物 大 脑 的 
神经 网 络 中 ， 不 同 神经 元 之 间 权 重 的 调节 却 与 时 间 因 素 密切 相关 站 ， 例 如 当 神 
经 元 在 某 个 时 间 点 处 于 放电 状态 时 , 会 对 与 其 连接 并 处 于 激活 状态 的 突 触 产生 影 
响 ， 如 果 突 触 的 激活 早 于 神经 元 的 放电 ， 那 么 此 突 触 就 会 被 增强 ， 反之， 突 触 就 
会 被 前 弱 ， 这 类 效应 被 称 为 脉冲 时 间 依 赖 的 突 触 可 塑性 外 
(Spike-Timing-Dependent Plasticity，SDTP)。1997 年 提出 的 脉冲 神经 网 络 00 
(Spiking neural networks, SNNs) 包含 了 时 间 要 素 。 在 脉冲 神经 网 络 中 ， 神 经 
元 发 送 的 是 一 种 包含 时 间 信 息 的 离散 信号 , 也 因此 而 言 , 脉冲 神经 网 络 具 备 了 模 
拟 SDTP WREJT, 

无 论 是 ANNs 还 是 SNNs， 强 调 的 均 是 人 工 神经 元 与 生物 神经 元 的 相似 性 ， 
而 忽略 了 神经 网 络 层 面 上 与 生物 体 的 相似 性 , 然而 不 同 物种 的 智力 差异 却 可 能 3 
自 于 神经 网 络 不 同 07 29， 而 非 神经 元 的 差异 。 这 里 我 们 提出 了 一 种 新 的 神经 网 络 
的 表达 方式 , 这 类 神经 网 络 更 加 强调 与 生物 大 脑 内 神经 网 络 的 相似 性 。 借助 此 类 
神经 网 络 ， 我 们 模拟 了 大 脑 中 一 个 特殊 的 神经 结构 一 一 杏仁 核 (amygdala)。 

多 方面 的 证 据 表 明 奋 仁 核 是 恐惧 情绪 记忆 和 和 恐 惧 经 典 条 件 反射 的 学 习 中 心 。 
例如 ， 同 实验 动物 呈现 威胁 物 时 会 激活 查 仁 核 ， 相 反 ， 如 果 禁 仁 核 草 受到 损伤 ， 
动物 将 不 会 有 害怕 的 表现 WI。 正常 的 猴子 面 对 蛇 类 通常 会 露出 胆 层 , 但 杏仁 核 
损伤 的 猴子 却 没有 P。 在 人 类 身上 , CRAB BA OE We 
也 会 影响 到 恐惧 经 典 条 件 反射 的 学 习 己 ， 脑 成 像 发 现 ， 恐 惧 经 典 条 件 反射 的 学 
习 通常 需要 激活 杏仁 核 C。 

我 们 发 现 , 拥有 了 此 类 神经 网 络 的 智能 体能 够 表现 出 妨 惧 情绪 学 习 和 经 典 条 
件 反 射 式 的 学 习 能 力 ， 这 与 杏仁 核 的 功能 非常 类 似 。 


2 实验 设计 
2.1 模拟 场景 及 智能 体 的 设计 


为 了 模拟 智能 体 Cagent) 在 真实 场景 中 的 情况 ， 我 们 首先 利用 python 语言 
中 的 tkinter 包 来 设计 模拟 场景 ,模拟 场景 为 一 个 12x12 的 方 阵 , 每 格 50 个 像素 。 

智能 体 的 主体 是 30x30 像素 的 矩形 , 并 具备 四 个 方向 的 触手 , 触手 用 于 模拟 
智能 体 的 感觉 器 官 ， 其 功能 是 可 以 使 其 感知 周边 一 格 范围 内 物体 的 颜色 。 
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设置 两 个 物体 ,分 别 是 红色 的 威胁 物 和 灰色 的 中 性 物 。 当 且 仅 当 威 胁 物 与 智 
能 体 的 主体 在 同一 方 格 中 时 ,威胁 物 会 对 智能 体 造 成 伤害 , 但 中 性 物 无 论 何 时 都 
不 会 对 智能 体 造成 伤害 。 实 验 条 件 与 现实 世界 中 类 似 , 尽管 威胁 物 可 以 对 智能 体 
造成 伤害 ， 但 智能 体 需 要 通过 学 习 才 能 获取 这 类 经 验 。 
智能 体 受到 伤害 或 者 感受 到 威胁 时 ， 便 会 逃 开 ， 每 次 能 够 跳跃 三 格 。 


智能 体 触手 中 性 物 ”威胁 物 


pt tT || tt tt 
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图 1 智能 体 、 威 胁 物 和 中 性 物 的 设置 


2.2 智能 体内 神经 元 和 神经 元 网 络 的 设计 


D 杏仁 核 特性 及 其 神经 联结 


在 本 次 实验 中 , 我 们 模拟 了 大 脑 内 一 个 特殊 的 脑 结构 杏仁 核 。 FERAL 
绪 学 习 以 及 经 典 条 件 反 射 式 的 学 习 中 ， 禁 仁 核 扮 演 了 重要 的 角色 中 71。 

禁 仁 核 由 大 约 12 个 神经 核 团 组 成 , 与 恐惧 最 为 相关 的 是 三 个 神经 核 团 名 2 
包括 外 侧 核 (lateral amygdala)、 基 底 核 (basal nuclei) 和 中 央 核 (central nucleus), 
外 侧 核 与 大 脑 皮 层 所 有 的 区 域 均 有 神经 联系 ,负责 接收 感知 到 的 信息 握 355， 其 神 
经 元 会 投射 至 基底 核 ， 并 由 基底 核 进一步 投射 至 中 央 核 占 3。 中 央 核 负 责 情绪 的 
执行 ， 其 神经 元 会 投射 至 下 丘脑 (hypothalamus)、 腹 侧 被 盖 区 (ventral tegmental 
area) 以 及 位 于 脑 干 的 蓝 斑 核 Cocus coeruleus) 等 更 低级 的 脑 区 ， 这 些 脑 区 分 别 


与 交感 神经 等 自主 神经 成 分 , 生物 的 行为 成 分 以 及 激素 成 分 有 关 ， 其 中 行为 成 分 
负责 生物 体 恐 惧 反应 行为 〈 人 僵化、 逃避 等 )， 自 主 成 分 (血压 升 高 、 心 率 上 升 等 ) 
和 激素 (肾上腺 素 分 泌 等 ) 成 分 则 为 行为 成 分 作出 支撑 中 ， 如 图 2。 
自主 神经 成 分 
感知 神经 元 下 丘脑 


行为 成 分 


感知 神经 元 © oa 腹 侧 被 盖 区 


感知 神经 元 Brio. ERES 
激素 成 分 


图 2 杏仁 核 的 神经 联系 简 图 
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(2) 杏仁 核 中 存在 的 学 习 过 程 


生物 大 脑 中 的 突 触 会 被 其 活动 所 修饰 , 这 类 变化 通常 会 被 认为 是 生物 学 习 和 
记忆 的 基础 。 由 神经 元 活动 引起 的 突 触 变化 有 一 个 显著 的 特点 是 时 间 上 的 不 对 称 
性 ， 当 某 个 神经 元 处 于 激活 状态 时 ,会 产生 两 种 截然 相反 的 效果 ,一 方面 会 对 在 
其 之 前 激活 的 突 触 产 生 强 化 作用 , 另 一 方面 , 会 对 在 其 之 后 才 激 活 的 突 触 有 抑制 
作用 “2 ， 即 脉冲 时 间 依 赖 的 突 触 可 塑性 CSDTP )。 

尽管 并 未 有 明确 的 证 据 显 示 查 仁 核 中 存在 着 SDTP 式 的 学 习 , 但 一 些 实验 发 
现 仆 惧 学 习 和 疏 惧 经 典 条 件 反 射 学 习 往 往 会 增强 感觉 神经 元 与 查 仁 核 外 侧 核 神 
经 元 之 间 的 突 触 联结 WY， 说 明 二 者 的 关系 十 分 密切 。 


G) 杏仁 核 的 神经 网 络 模型 


正如 上 面 所 述 , 很 多 证 据 表 明 感 知 神经 元 与 杏仁 核 神 经 元 之 间 突 触 的 强化 与 
恐惧 学 习 和 经 典 条件 反 射 学 习 之 间 强 烈 相关 中 ,然而 目前 为 止 , 尚未 有 一 种 模 
型 可 以 说 明 为 什么 二 者 会 有 如 此 有 趣 的 关系 。 

关于 经 典 条件 反 射 的 模型 有 很 多 “1, 这 些 模型 试图 用 统一 的 数学 模型 来 解 
释 实 验 发 现 的 经 典 条 件 反 射 现 象 , 但 由 于 未 将 模型 置 于 某 个 具体 的 神经 网 络 ， 因 
此 很 难说 明 为 什么 突 触 变 化 会 导致 生物 行为 的 具体 变化 。 这 里 我 们 提出 了 一 种 新 
的 模型 ， 用 于 解释 杏仁 核 突 触 的 变化 与 生物 体 之 间 行 为 的 关系 。 

O 恐惧 学 习 的 原理 探讨 

恐惧 情绪 在 生物 体 的 进化 当中 起 了 非常 大 的 作用 , 经 过 恐惧 学 习 后 ， 生 物体 
会 对 曾经 伤害 过 自己 的 物体 形成 逃避 反应 , 这 种 在 伤害 来 临 前 提前 逃避 的 做 法 会 
减少 生物 体 遭 到 重复 攻击 的 可 能 性 ， 从 而 提高 其 生存 几率 。 

为 了 更 好 地 说 明 奋 仁 核 的 模型 ， 我 们 先 设 想 一 个 典型 的 念 惧 学 习 的 场景 : 

RANT WR ILLIER, I CLEP EAE EUME EEVEM, UTAR, 
TRIER UF BIER, HERPES FERRER A). 

WELTER EE, RMF SAA, PANG RIES AKA FUME ZIRE BA, FP IL 
KiE, ABE AT A: TMF FEE ZEEE 

DAP RAE ARE SERA se, WN 3 所 示 。 

疼痛 神经 元 疼痛 神经 元 


通路 
感知 神经 元 感知 神经 元 


通路 a 通路 y 


杏仁 核 神经 元 nee) 杏仁 核 神经 元 
aaa 
时 间 轴 ++ 1+ +> 时 间 负 
I 
ty tz ts t tt | 
感知 神经 元 激活 感受 疼痛 逃跑 感知 神经 元 激活 “逃跑 1 感受 疼痛 | 
学 习 前 学 习 后 


图 3 恐惧 学 习 的 神经 网 络 模型 


左 图 为 猴子 学 习 之 前 杏仁 核 的 神经 网 络 ， 右 图 为 学 习 之 后 的 神经 网 络 。 

ti 代表 猴子 视觉 系统 感知 到 蛇 的 时 间 点 ， 此 时 感知 神经 通路 至 禁 仁 核 的 神经 
通路 (神经 通路 a) 被 激活 ， 但 由 于 这 条 神经 通路 未 经 强化 ， 因 此 感知 神经 元 并 
不 会 激活 查 仁 核 ， 所 以 也 难以 激活 神经 通路 Y， 引 发 逃避 反应 。 

to 代表 猴子 感知 到 疼痛 的 时 间 点 ， 此 时 疼痛 神经 元 至 杏仁 核 的 神经 通路 〈 神 
经 通路 B) 被 激活 。 通 常 疼痛 会 引发 杏仁 核 的 强烈 放电 司 ， 所 以 我 们 假设 这 条 神 
经 通路 无 需 强 化 便 可 以 引发 逃避 反应 。 

ts 代表 神经 通路 y 激活 的 时 间 点 ， 此 时 查 仁 核 神经 元 的 激活 引起 了 猴子 的 逃 
避 反 应 。 

通常 情况 下 ， 猴 子 是 先 看 到 蛇 ， 后 被 攻击 ， 因 此 存在 时 间 关 系 ，t 早 于 tz 
bb 早 于 t。 其 中 和 之 间 的 时 间 差 代表 了 猴子 由 看 到 蛇 类 至 受到 蛇 类 攻击 的 时 
间 。 

由 于 视觉 感知 神经 元 和 痛觉 神经 元 均 投 射 至 奋 仁 核 神经 元 , 因此 当 奋 仁 核 神 
经 元 被 激活 时 ,根据 SDTP 的 学 习 规则 , 会 导致 激活 时 间 更 早 的 神经 通路 a 得 到 
强化 ， 于 是 产生 了 学 习 。 

在 学 习 之 后 , 神经 通路 a 受到 强化 ,因此 当 猴 子 的 视觉 感知 系统 再 次 被 蛇 激 
活 ， 就 会 引发 杏仁 核 神经 元 的 激活 ， 并 进一步 引起 逃避 反应 ， 由 此 猴子 便 避 免 了 
遭受 到 蛇 的 再 次 攻击 , 所 以 图 3 右 半 部 分 中 的 已 是 一 个 假设 的 时 间 点 〈 图 中 用 红 
fa HE tit). 

ts 与 的 时 间 差 代表 了 猴子 大 脑 中 感知 到 蛇 并 开始 逃避 的 时 间 ， 而 与 4 
的 时 间 差 则 代表 了 在 客观 世界 中 ,猴子 看 到 蛇 至 受到 蛇 攻 击 的 时 间 , 通常 情况 下 ， 
6 与 人 的 时 间 差 要 更 短 ， 所 以 恐惧 学 习 能 够 增加 猴子 在 面 对 蛇 时 的 生存 几率 。 

D 经 典 条 件 反射 的 原理 探讨 

恐惧 型 经 典 条 件 反 射 实验 通常 设置 一 个 条 件 刺 激 Cconditioned stimulus, CS) 
和 非 条 件 刺激 (unconditioned stimulus, US). 

经 典 条 件 反 射 训练 之 前 , 条 件 刺激 并 不 会 引起 生物 的 逃避 反应 , 而 非 条 件 刺 
激 会 引起 逃避 反应 ,训练 时 条 件 刺激 与 非 条 件 刺 激 多 次 配对 出 现 , 训练 后 生物 体 
学 会 条 件 刺 激 出 现时 作出 逃避 反应 。 


Omk 
ED O 生物 体 | 逃避 反应 O 生物 体 k 逃避 反应 
©- 生物 体 o 逃避 反应 e 


训练 前 训练 中 训练 后 
图 4 ERP ALS ee Eat 


与 神经 元 STDP 的 现象 非常 类 似 , 行为 学 研究 发 现 , ERRE LR FB 
的 训练 中 , 时 间 因 素 非常 重要 , 条件 刺激 必须 要 出 现在 非 条 件 刺 激 之 前 或 同时 出 
现 ， 相 反 ， 如 果 条 件 刺 激 出 现在 非 条 件 刺激 之 后 ， 则 生物 永远 无 法 学 会 经 典 条 件 
反射 中， 所 以 一 些 研究 者 认为 条 件 刺激 其 实 是 起 到 了 一 种 预警 的 作用 (多 。 由 此 
看 来 ， 经 典 条 件 反 射 与 与 恐惧 学 习 非 常 类 似 ， 略 有 不 同 的 是 ， 由 于 US 和 CS 均 
是 感觉 信息 ， 所 以 模型 中 的 信号 均 来 自 于 感知 神经 元 。 如 图 5 所 示 ， 对 于 经 典 条 
件 反射 来 说 ， 不 同时 间 被 激活 的 均 是 感觉 信息 ， 其 中 S 是 条 件 刺激 CCS), S2 
是 非 条 件 刺激 (US)。 
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图 5 经 典 条 件 反 射 的 神经 网 络 模型 


© 习惯 化 和 经 典 条 件 反射 的 消退 

在 真实 的 世界 中 ， 无 论 是 恐惧 学 习 还 是 经 典 条 件 反射 均 是 动态 和 可 逆 的 。 

与 恐惧 学 习 相反 的 效果 叫做 习惯 化 (habituation)， 习惯 化 是 指 生物 体 逐 步 
惯 无 害 刺激 ， 并 减少 逃避 反应 。 对 于 本 次 恐惧 学 习 而 言 ， 习 惯 化 是 指 一 个 之 前 曾 
对 智能 体 造成 过 伤害 的 物体 此 后 多 次 出 现 且 不 再 造成 伤害 , 智能 体 逃 避 反 应 逐步 
消失 的 过 程 。 

与 恐惧 经 典 条 件 反射 学 习 相 反 的 效果 叫做 消退 , 当 一 个 条 件 刺激 单独 出 现 多 
次 , 且 智 能 体 并 未 感知 到 随后 将 会 出 现 对 其 造成 伤害 的 非 条 件 刺激 时 ， 生 物体 会 
逐渐 失去 对 于 条 件 刺激 的 逃避 反应 。 

与 之 前 的 强化 相反 ， 这 两 种 效果 可 能 来 自 于 神经 通路 权重 的 降低 。 

D 杏仁 核 的 神经 网 络 模型 

综合 上 面 关于 恐惧 学 习 和 经 典 条 件 反射 的 原理 ， 并 结合 杏仁 核 神经 联结 ,我 
们 设计 了 与 奉 仁 核 类 似 的 神经 网 络 模型 ， 如 图 6。 

痛觉 神经 元 


感知 神经 元 
感知 神经 元 逃避 反应 


感知 神经 元 


图 6 恐惧 记忆 网 络 的 设计 


所 有 的 感知 神经 元 均 投 射 至 杏仁 核 , 其 中 也 包括 痛觉 神经 元 。 与 其 他 感知 神 
经 元 不 同 的 是 , 痛觉 神经 元 与 杏仁 核 神经 元 之 间 的 联系 更 强 ( 图 中 表示 为 实 线 )。 
此 外 ， 查 仁 核 神经 元 的 激活 会 直接 导致 智能 体 产生 逃避 反应 。 

(4) 神经 元 以 及 神经 网 络 设计 

为 了 模拟 智能 体 在 真实 环境 中 的 表现 , 我 们 首先 对 智能 体 的 感知 进行 了 模拟 。 

O 智能 体感 知 能 力 的 模拟 

智能 体 有 两 种 感觉 能 力 , 其 一 为 利用 触手 感知 外 界 物 体 颜 色 的 能 力 , 这 意味 

着 一 旦 威胁 物 或 者 中 性 物 与 触手 接触 ， 便 会 激活 智能 体 的 感知 神经 元 。 


其 二 为 感知 痛觉 的 能 力 ， 当 威胁 物 的 位 置 与 智能 体 的 主体 重合 时 ,智能 体 便 
会 受到 伤害 ， 此 时 智能 体 的 感知 神经 元 会 被 激活 。 


在 人 类 的 大 脑 中 ， 按照 时 间 的 长 短 ， 记 忆 通 常 分 为 感觉 记忆 、 短 时 记忆 和 长 
时 记忆 四 。 感 觉 记忆 (sensory memory) 又 称 感觉 登记 (sensory register), HAR 
留 时 间 非 常 短 (视觉 感觉 记 世 大 约 为 50ms 9°97, 听觉 感觉 记忆 约 为 1~2s**)， 
但 可 以 保留 大 量 的 信息 ,多数 的 感觉 记 ! 世 在 超过 保 留 时 间 后 均 被 握 弃 ， 只 有 那些 
经 过 注意 的 信息 才能 得 到 进一步 的 加 工 ， 从 而 进入 短 时 记忆 ,并 进一步 进入 长 时 
记忆 。 受 此 启发 ,我们 设置 两 个 网 络 ， 分 别 代 表 类 似 长 时 记忆 的 网 络 〈 称 为 恐惧 
记忆 网 络 )， 和 类 似 感觉 记忆 的 网 络 〈 称 为 激活 网 络 )， 妨 惧 记 忆 网 络 用 于 保留 智 
能 体 的 长 时 记忆 ， 而 激活 网 络 的 作用 是 智能 体面 对 某 个 事件 时 存储 感觉 记忆 
D 鸭 慢 记忆 网 络 的 设计 
恐惧 记忆 网 络 用 来 模拟 未 经 历 事件 之 前 生物 体 大 脑 内 稳定 的 神经 网 络 。 正 如 
图 6 所 示 ， 一 个 类 奋 仁 核 神经 网 络 包 括 杏 仁 核 神 经 元 ， 感知 神经 元 (包括 痛觉 神 
经 元 ) 以 及 禁 仁 核 激 活 会 引起 的 逃避 反应 。 
我 们 设置 了 初始 的 神经 连接 权重 , 其 中 痛觉 神经 元 与 杏仁 核 神 经 元 的 投射 权 
重 设置 为 3， 其 余 感 觉 神 经 元 的 连接 权重 为 1。 
利用 python 语言 中 的 pandas 包 对 记忆 神经 网 络 进 行 描述 ， 内 容 包括 三 方面 
的 内 容 : 信号 发 起 神经 元 ,信号 接收 神经 元 以 及 它们 之 间 的 连接 权重 。 在 最 初 的 
O 神经 网 络 中 ， 我 们 仅 设 置 了 痛觉 神经 元 与 杏仁 核 神经 元 之 间 的 联结 。 
我 们 采用 了 一 种 特殊 的 方法 来 表达 其 余 感觉 神经 元 投射 至 杏仁 核 神 经 元 时 
联结 : 当 智 能 体感 知 到 刺激 时 , 会 首先 到 记忆 网 络 中 检测 是 否 存 在 这 个 刺激 至 查 
仁 核 的 通路 ， 如 果 在 记忆 中 未 检测 到 ， 说 明 这 类 刺激 是 初次 感知 ， 此 时 会 在 记忆 
网 络 中 增加 这 条 通路 ， 并 按照 权重 规则 ， 将 权重 设置 为 默认 值 1， 如 图 7 所 示 。 


neurons_start neurons_end weight neurons_start neurons_end weight 
0 pain_neurons amygdala_neurons 3.0 0 pain_neurons amygdala_neurons 3.0 
1 red amygdala_neurons 1.0 
恐惧 记忆 网 络 (初始) 恐惧 记忆 网 络 ( 检 测 到 物体 后 增加 》 
图 7 恐惧 记忆 网 络 的 表达 


我 们 将 查 仁 核 神经 元 的 激活 阔 限 设置 为 1.5， 当 杏仁 核 神经 元 接收 到 的 信 
超过 阔 限 值 时 ,会 引起 逃避 反应 。 相 反 ， 如 果 查 仁 核 神 经 元 接收 到 的 号 并 未 起 
过 阔 限 值 ， 则 不 会 引发 逃避 反应 。 


在 生物 的 大 脑 中 , 神经 元 发 送 的 信号 是 有 强度 差异 的 , 更 强 的 刺激 会 引发 频 
率 更 高 的 动作 电位 , 但 不 同方 面 的 证 据 显 示 , 强度 的 差异 并 不 能 区 分 不 同 的 物体 ， 
相反 ， 大 脑 通 常 采用 不 同 的 神经 元 来 标注 不 同 的 物体 ， 例 如 一 些 实验 发 现 ， 
对 于 同样 的 物体 ， 注 意 会 导致 猴 子 视觉 区 中 较 高 等 级 的 皮层 (V4 等 ) 相同 神经 
元 更 强烈 的 放电 ， 另 外 ， 很 多 实验 发 现 ,不 同类 别 的 物体 通 稼 存储 在 颗 叶 不 同 的 
脑 区 1， 这 些 都 说 明神 经 元 的 放电 频率 与 物体 标签 的 关系 较 小 。 

出 于 上 述 原 因 , 在 本 次 实验 中 我 们 忽略 了 感知 信号 强度 这 一 要 素 , 所 以 对 于 
接收 信号 的 神经 元 来 说 ， 激 活 与 否 全 部 取决 于 其 与 信号 发 出 神经 元 之 间 的 权重 ， 
因此 在 未 进行 学 习 的 情况 下 , 只 有 痛觉 神经 元 激活 时 会 导致 杏仁 核 神 经 元 的 激活 ， 
引发 逃避 反应 。 

@) 激活 网 络 的 设计 

我 们 设置 了 一 个 激活 网 络 用 来 模拟 生物 体 在 面 对 一 个 事件 时 所 发 生 的 情况 。 

激活 网 络 记录 了 外 界 刺激 进入 智能 体 “ 大 脑 ” 时 产生 的 即时 信和 号 , 激活 网 络 记 
录 了 以 下 三 个 方面 的 内 容 : 信号 发 起 神经 元 , 信号 接收 神经 元 以 及 信号 发 起 的 时 
间 。 在 未 有 刺激 进入 到 智能 体 的 神经 网 络 时 ,激活 网 络 是 空 的 , 一 旦 有 信号 进入 
神经 网 络 ， 激 活 网 络 便 会 进行 记录 (图 8)。 


neurons_start neurons_end time 
neurons_start neurons_end time 0 red amygdala_neurons 1.592269e+09 
未 记录 信息 记录 信息 
图 8 激活 网 络 的 表达 


@ 神经 网 络 改变 的 规则 

此 次 神经 网 络 中 权重 的 改变 规则 借鉴 了 SDTP 原理 。 在 激活 网 络 中 , 如 果 某 
两 个 信号 之 间 的 间隔 较 小 , 且 后 面 的 信号 会 激活 杏仁 核 , 便 会 引发 前 面 信号 与 可 
仁 核 联系 的 增强 。 

我 们 假设 增强 的 规则 是 : 


weight = (1 + 0.5) x weight(pre) (公式 1) 


其 中 为 在 激活 网 络 中 前 后 信号 之 间 的 间隔 时 间 ，weight(pre) 是 记忆 网 络 中 在 未 
学 习 之 前 的 权重 。 

时 间 间 隔 代 表 了 强化 的 时 间 窗 口 ， 此 处 我 们 设置 为 200ms， 这 要 比 生 物 脑 内 
的 真实 的 时 间 窗 口 长 很 多 外 。 需 要 说 明 的 是 ， 此 处 的 公式 及 窗口 并 不 是 固定 的 ， 
可 以 根据 真实 的 场景 进行 修改 。 在 本 次 实验 的 模拟 环境 中 , 智能 体 的 移动 需要 进 
行 刷 新 ， 刷 新 的 时 间 间 隔 为 100ms， 所 以 为 了 显示 的 方便 ， 在 此 我 们 设置 了 更 长 
的 时 间 窗 口 。 

对 于 习惯 化 ， 我 们 假设 的 规则 是 : 


weight = 0.9 x weight(pre) (公式 2) 
对 于 经 典 条 件 反 射 的 消退 ， 我 们 假设 的 规则 是 : 


weight = (1 — 0.59 x weight(pre) (公式 3) 
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© 参数 的 设计 及 其 意义 

在 实验 中 , 我 们 固定 了 两 类 神经 元 的 联结 , 包括 疼痛 神经 元 与 杏仁 核 神经 元 
之 间 的 联结 ,以 及 当 查 仁 核 神经 元 与 逃避 反应 之 间 的 联结 , 这 类 联结 代表 着 智能 
体 “ 大 脑 " 内 部 先天 的 神经 联结 ， 意 味 着 智能 体 对 于 这 些 反 应 都 是 不 学 而 能 的 。 

查 仁 核 神经 元 激活 的 阔 限 值 则 代表 了 生物 对 于 疼痛 的 忍受 程度 ， 其 值 越 低 ， 
则 意味 着 生物 体 对 于 疼痛 的 忍受 度 越 低 ， 尽 管 会 让 智能 体 产 生 更 快 的 学 习 行为 ， 
有 更 多 的 逃避 反应 ， 能 够 增加 智能 体 在 实际 场景 中 生存 几率 ， 但 相反 的 效果 是 ， 
过 多 的 逃避 反应 会 相应 地 减少 智能 体 的 工作 时 间 。 

公式 1 中 的 间隔 时 间 O 意味 着 产生 强化 的 时 间 窗 口 ， 这 个 窗口 的 长 短 面 
临 着 一 种 矛盾 , 更 长 的 窗口 时 间 意 味 着 生物 体 可 以 在 更 长 时 间 范 围 内 进行 神经 元 
的 强化 , 但 耗费 的 内 存 空间 也 会 增多 , 相反 , 越 短 的 窗口 时 间 在 节省 资源 的 同时 ， 
也 意味 智能 体 可 能 难以 学 习 到 现实 世界 中 CS 和 US 的 配对 规律 。 

无 论 是 上 述 公 式 还 是 公式 中 的 参数 均 不 是 完全 固定 的 , 智能 体 可 以 根据 其 工 
作 的 真实 场景 进行 修改 , 以 期 让 智能 体能 够 在 生存 和 工作 的 矛盾 中 找到 最 佳 的 平 
衡 点 。 


2.3 信号 在 神经 网 络 中 的 加 工 过 程 


当 智能 体 的 感知 发 生变 化 时 , 感知 神经 元 和 查 仁 核 神经 元 之 间 的 通路 便 会 被 
保留 在 激活 网 络 当中 ， 这 个 过 程 称 为 “感觉 登记 ”。 

感觉 登记 发 生 后 , 智能 体会 根据 激活 网 络 中 记录 的 神经 通路 来 查看 记忆 网 络 ， 
如 果 在 记忆 网 络 中 存在 相同 的 神经 通路 ， 便 会 提取 此 类 神经 通路 的 权重 ， 并 根据 
权重 是 否 大 于 已 设置 的 阔 限 值 来 进行 反应 ， 如 果 权 重 不 大 于 阅 限制 ， 则 将 此 通路 
记录 在 记忆 网 络 ， 并 将 权重 赋值 为 默认 值 1 。 

智能 体 的 感知 每 发 生 一 次 变化 时 ， 便 会 重复 上 述 过 程 一 次 ， 这 称 之 为 "一次 
循环 ”。 

当 整 个 过 程 结束 之 后 , 智能 体 的 感知 在 较 长 的 一 段 时 间 内 不 会 发 生变 化 ,从 
开始 变化 至 过 程 结束 称 为 “一 次 事件 "。 在 一 次 事件 之 后 ,智能 体 根据 权重 调整 规 
则 修改 记忆 网 络 中 的 权重 ， 并 清空 激活 网 络 ， 整 个 过 程 见 图 9， 其 中 蓝 色 篆 头 代 
表 一 次 循环 中 的 加 工 ， 而 格 色 箭头 代表 一 次 事件 后 的 加 工 。 
清空 网 络 


外 界 刺激 


人 


修改 
> 下 一 次 循环 


权重 
作出 行为 


图 9 信号 在 神经 网 络 中 的 加 工 过 程 
图 10 表示 了 整个 过 程 中 ， 激 活 网 络 和 记忆 网 络 中 的 变化 。 
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激活 网 络 记忆 网 络 阶段 
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— 事件 未 发 生 
neurons_start neurons_end time 0 pain_neurons amygdala_neurons 3.0 


neurons_start neurons_end weight 


neurons_start neurons_end time 


一 次 循环 
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red amygdala_neurons 1.0 
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red amygdala_neurons 1.592017e+09 二 次 循环 
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图 10 ZUR AWE EB SI, (HES AB) 
3 实验 结果 
我 们 在 这 个 部 分 中 展现 丽 惧 学 习 、 经 典 条 件 反射 学 习 以 及 消退 后 的 效果 , SE 
验 效果 的 视频 文件 以 及 代码 见 补充 材料 。 
3.1 恐惧 情绪 学 习 


学 习 前 和 学 习 后 的 实验 效果 见 图 11。 

对 比 不 同 阶段 智能 体 的 反应 可 以 发 现 , 学 习 前 的 智能 体 并 不 会 县 避 红 色 的 威 
胁 物 ， 当 它 被 威胁 物 攻击 之 后 便 产 生 了 学 习 , 经 过 学 习 之 后 的 智能 体 产生 了 逃避 
反应 ， 避 免 了 再 次 受到 伤害 。 
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3.2 经 典 条 件 反射 式 的 学 习 
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一 旦 智能 体 学 会 了 对 于 红色 威胁 物 的 逃避 反应 , 则 这 类 威胁 物 便 可 视 作 经 典 
条 件 反 射 的 非 条 件 刺激 〈US)， 而 灰色 中 性 物 则 可 以 视 作 是 条 件 刺激 (CS)。 

图 12 显示 了 经 典 条 件 反 射 学 习 前 后 智能 体 行为 的 变化 。 在 学 习 前 阶段 ， 智 
能 体 并 不 会 对 灰色 的 中 性 物产 生 逃 避 反 应 ， 但 中 性 物 与 威胁 物 配 对 出 现 ,并 且 总 
是 出 现在 威胁 物 之 前 ,就 满足 了 经 典 条 件 反射 的 条 件 。 经 过 经 典 条 件 反 射 的 学 习 ， 
智能 体 对 于 中 性 物 也 会 产生 逃避 反应 。 
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图 12 经 典 条 件 反射 学 习 前 后 智能 体 的 表现 
3.3 习惯 化 和 经 典 条 件 反射 的 消退 


13 表示 了 习惯 化 后 的 结果 ， 从 图 中 可 以 看 出 ， 习 惯 化 导致 了 智能 体 对 于 
威胁 物 逃 避 反 应 的 消失 。 
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图 13 习惯 化 前 后 智能 体 的 表现 
图 14 表示 了 经 典 条 件 反 射 消退 后 的 结果 ， 从 图 中 可 以 看 出 ， 经 典 条 件 反 射 
消退 后 , 智能 体 对 于 作为 条 件 刺激 的 中 性 物体 的 逃避 反应 消失 了 , 但 对 于 非 条 件 
刺激 的 逃避 反应 依然 存在 。 
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图 14 经 典 条 件 反射 消退 前 后 智能 体 的 表现 
4 讨论 


在 本 次 实验 中 , 我 们 首先 提出 了 一 个 模型 来 解释 杏仁 核 神经 元 的 变化 与 生物 
体 行 为 变化 之 间 的 关系 ， 并 据 此 模型 设计 了 一 种 新 的 神经 网 络 ， 这 个 网 络 模拟 
了 禁 仁 核 的 神经 结构 ， 同 时 也 使 其 共有 了 与 查 仁 核 类 似 的 功能 ， 即 奴 惧 情绪 学 
习 和 经 典 条 件 反 射 式 学 习 的 能 力 。 与 人 工 神经 网 络 和 脉冲 神经 网 络 常用 框架 不 
同 的 是 ， 我 们 着 重 强调 了 神经 网 络 与 人 脑 的 相似 性 ， 我 们 认为 在 神经 网 络 的 设 
计 当 中 ， 不 应 忽略 这 一 重要 因素 。 

与 其 他 灵 长 类 生物 相 比 ， 人 脑 的 神经 元 数量 与 其 身体 的 比例 并 不 特殊 "1， 但 
究竟 是 什么 造就 了 人 类 独特 的 智力 ? 一 些 实验 发 现 ， 这 种 差异 可 能 而 是 来 自 于 
神经 网 络 的 不 同 "”" ， 智 力 更 高 的 物种 可 能 有 着 更 加 复杂 的 神经 网 络 ， 例 如 与 
食肉 类 动物 和 吐 具 类 动物 相 比 ， 灵 长 类 动物 的 新 皮层 中 上 颗粒 层 〈 本 和 全 》 的 
神经 元 占 比 要 高 出 很 多 mY, 上 层 颗 粒 层 主 要 作用 是 将 信号 投射 至 其 他 皮层 
这 意味 着 在 灵 长 类 动物 的 大 脑 中 ， 有 更 多 的 神经 元 用 于 联结 其 余 的 脑 区 ， 形 成 
复杂 的 神经 网 络 ， 所 以 一 些 研 究 者 认为 这 正 是 灵 长 类 动物 ， 包 括 人 类 有 用 高 级 
认 知 能 力 的 来 源 "。 另 一 个 被 广 为 接 受 的 事实 是 ， 神 经 网 络 也 决定 了 单个 神 
经 元 所 表达 的 意义 。 脑 内 不 同 部 位 的 神经 元 所 发 出 的 信号 均 表现 为 轴 突 的 动 
作 电 位 ， 与 此 形成 鲜明 对 比 的 是 ， 当 相同 的 信号 置 于 不 同 的 神经 网 络 时 ， 却 表 
达 了 不 同 的 意义 ， 例 如 视觉 皮层 中 V1 区 神经 元 的 放电 可 能 代表 了 某 个 朝向 的 
BEBO MT 皮层 中 神经 元 的 放电 则 代表 了 视觉 系统 中 发 现 有 某 种 朝向 运动 外 、 
颗 叶 中 某 个 神经 元 的 放电 则 带 代 表 了 检测 到 了 某 个 面孔 号 。 这 些 事实 表明 了 神 
经 网 络 在 实现 智能 中 的 重要 性 。 

在 生物 大 脑 的 神经 网 络 中 ， 时 间 是 另 一 个 起 着 重要 作用 的 因素 * 。 神 经 生 
物 学 的 实验 证 明 ， 时 间 因 素 在 影响 神经 元 联结 中 起 着 决定 性 作用 ， 如 果 某 个 神 
经 处 于 放电 状态 ， 会 强化 与 其 连接 且 激 活 时 间 更 早 的 突 触 ， 而 会 前 弱 与 其 连接 
且 激 活 时 间 更 晚 的 突 触 吕 。 所 以 我 们 记录 了 神经 元 放电 的 时 间 点 ， 并 通过 比较 
不 同 神经 网 络 被 激活 的 时 间 ， 模 拟 出 了 神经 元 突 触 的 变化 。 这 一 点 与 脉冲 神经 
网 络 "" 具有 的 能 力 相仿 ， 不 同 的 是 ， 我 们 并 没有 在 细胞 膜 水 平 上 对 神经 元 进行 
模拟 ,我 们 忽略 了 信号 在 两 个 神经 元 之 间 的 传递 形式 , 而 仅 以 一 个 数值 来 代 蔡 ， 


这 一 点 又 与 MP 模型 类 似 品 。 

在 神经 网 络 的 设计 当中 ， 我 们 增加 了 感觉 登记 的 过 程 。 心 理学 的 研究 发 现 ， 
对 于 不 同 的 感知 系统 ,存在 一 种 保留 时 间 非 常 短 的 记忆 名， 称 为 感觉 记忆 或 感 
觉 登记 ， 只 有 那些 经 过 注意 的 感觉 记忆 信息 才能 够 进入 短 时 记忆 , 并 可 能 进一步 
加 工 进 入 长 时 记忆 ， 而 那些 没有 经 过 注意 加 工 的 感觉 信息 则 会 被 弃 用 四。 感觉 
登记 能 够 让 大 脑 将 外 界 刺 激 保 留 一 段 时 间 , 并 根据 随后 的 反馈 信息 进行 突 触 的 调 
节 ， 从 而 产生 记忆 或 者 学 习 行 为 ， 这 种 方法 特别 适用 于 生物 体 处 理 未 知 的 环境 。 
与 此 形成 对 比 的 是 ， 计 算 机 科学 中 的 条 件 语句 (conditional statement) 也 常用 于 
让 计算 机 基于 不 同 条 件 执行 不 同 的 动作 , 但 条 件 语句 需要 设计 者 需要 预先 知道 智 
能 体 所 将 要 面 对 的 场景 。 在 一 个 开放 式 的 环境 下 ,智能 体 所 需要 面 对 的 场景 近乎 
无 限 “〈 例 如 在 一 个 陌生 星球 上 进行 探测 的 智能 体 )， 在 这 种 情况 下 ， 我 们 的 方法 
就 会 显得 非常 实用 。 

智能 体 的 学 习 方 式 也 是 跨 通道 的 , 在 我 们 的 神经 网 络 中 , 学习 并 不 局 限于 某 
种 特殊 的 神经 感知 通路 , 无 论 采 用 哪 种 感知 方式 ， 只 要 这 些 感知 神经 元 都 投射 至 
WAZ, 并 且 满 足 神经 网 络 的 改变 规则 , 均 能 进行 妨 惧 情绪 学 习 和 经 典 条 件 反 射 
Ep ols 

在 本 次 设计 的 神经 网 络 当 中 ,并 不 存在 非常 多 的 计算 过 程 , 智能 体 的 学 习 主 
要 体现 在 记忆 和 权重 的 修改 上 ,所 以 对 于 算 力 的 要 求 很 低 , 这 也 与 大 脑 的 情况 类 
似 。 人 脑 能 够 以 非常 低 的 能 耗 处 理 问 题 ， 所 以 一 些 研究 者 推测 ， 人 类 的 大 脑 并 非 
一 个 计算 器 ， 而 是 一 个 记忆 和 预测 系统 站， 我 们 的 实验 支持 了 这 种 假设 。 
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